Năm Nghi Phượng thứ 4 (679), Minh Sùng Nghiễm bị cường đạo giết, rồi lại chậm chạp bắt không được hung thủ, bởi vậy Võ hậu nghi ngờ là do Lý Hiền làm.

Năm Điều Lộ thứ 2 (680), có người tố giác trong chuồng ngựa ở Đông cung phát hiện hàng trăm kiện áo giáp, Võ hậu liền sai Tiết Nguyên Siêu, Bùi Viêm, Cao Trí Chu điều tra việc này. Đường Cao Tông thương Lý Hiền, không muốn trị tội. Võ hậu nói:"Là con dân mà mưu nghịch, thiên địa bất dung; nay đại nghĩa diệt thân, có thể nào xá được?". Do vậy, Lý Hiền liền bị phế làm thứ dân, giam lỏng tại Trường An[12]. Tháng 10 năm sau (681), Đường Cao Tông ra lệnh phế Lý Hiền làm thứ nhân, hơn 10 viên đại thần bị liên lụy vào vụ án[13]. Theo Tư trị thông giám, sự việc này được kể như sau: Lý Hiền bình thường dung mạo rất đẹp, rất sủng ái nam sủng là Triệu Đạo Sinh (赵道生), quan viên ở Đông Cung là Vi Thừa Khánh (韦承庆) khuyên can lại không nghe. Khi sự việc Thái tử phát ra, Triệu Đạo Sinh lại khai rằng Thái tử sai mình giết Minh Sùng Nghiễm[14][15]. Tuy nhiên, theo Cựu Đường thư, ghi lại, Vi Thừa Khánh từng hiến 《Dụ Thiện châm》, khuyên can Thái tử thân hiền năng mà xa tiểu nhân, Thái tử nghe xong: “Thiện chi, ban vật thật hậu”, không chỉ có tán thành gián ngôn, còn ban thưởng Vi Thừa Khánh[16]. Không lâu sau, Đường Cao Tông lập con trai thứ 7 của mình là Lý Triết do Thiên Hậu sinh ra làm Thái tử, đổi tên ông ta là Lý Hiển[17].

Năm Vĩnh Thuần thứ 2 (683), thứ dân Lý Hiền bị đày đến nơi hẻo lánh Ba Châu (巴州; nay là Châu tự trị Mông Cổ Bayingolin)[18]. Lúc đi, con cái nô bộc đều quần áo rách rưới thê lương, Tân Thái tử Lý Hiển vì thương anh, cầu xin Đế-Hậu cảm thương anh cả mà ban cho quần áo mùa đông, vì thế toàn gia Phế Thái tử mới bảo toàn mạng sống[19].

Năm Văn Minh nguyên niên (684), Đường Cao Tông băng hà, Võ hậu trở thành Hoàng thái hậu, Thái tử Lý Hiển kế vị, tức Đường Trung Tông. Tuy nhiên chỉ một tháng sau, Trung Tông bị Võ Thái hậu phế bỏ, lập Lý Đán, tức Đường Duệ Tông, Võ Thái hậu nắm đại quyền. Ngày 22 tháng 2 (âm lịch), Võ Thái hậu liền sai Kim Ngô vệ Đại tướng quân Khâu Thần Tích đến Ba Thục, bức Lý Hiền phải uống rượu độc tự tử, năm đó 29 tuổi[20][21][22]. Võ Thái hậu được tin giả vờ thương xót, an táng cho ông ở cửa Hiển Phước theo nghi lễ của tước Vương, rồi biếm Khâu Thần Tích làm Thứ sử Điệp châu, tuy nhiên sau đó lại dùng trở lại[23].

Năm Thùy Củng nguyên niên (685), Võ Tắc Thiên chiếu lệnh khôi phục tước vị của Lý Hiền, tức Ung vương[24].

Năm Thần Long nguyên niên (705), Đường Trung Tông phục vị, truy tặng Lý Hiền chức Tư đồ, rước linh cữu về an táng tại Càn lăng. Năm Cảnh Vân thứ 2 (711), Đường Duệ Tông truy phong cho ông thụy hiệu là Chương Hoài Thái tử (章懷太子), hợp táng cùng với vợ là Phòng thị, được gọi là Chương Hoài Thái tử mộ (章怀太子墓)[25][26].